- Überblick
- UI-Automatisierung (UI Automation)
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- ST-DBP-021 – Hartcodiertes Timeout
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- SY-USG-013 – Private Datei aufrufen
- SY-USG-014 – Falsche Platzhalter für Ausführungsvorlage
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- UiPath-Browsermigrationstool
- Computer Vision Recorder
- Klicken (Click)
- Darauf zeigen (Hover)
- Sicheren Text eingeben (Type Secure Text)
- Hotkey senden (Send Hotkey)
- Eingeben in (Type Into)
- Prüfen (Check)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Text erhalten (Get Text)
- Text einstellen (Set Text)
- Aktivieren (Activate)
- Markieren (Highlight)
- Fokus legen auf (Set Focus)
- Ankerbasis (Anchor Base)
- Kontextbewusster Anker
- Relatives Element finden (Find Relative Element)
- Auf Bildschirm anzeigen (Indicate On Screen)
- Element vorhanden (Element Exists)
- Element finden (Find Element)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Untergeordnete Elemente finden (Find Children)
- Vorgänger-Element erhalten (Get Ancestor)
- Elementumfang (Element Scope)
- Attribut erhalten (Get Attribute)
- Ausschneidebereich einstellen (Set Clipping Region)
- Position erhalten (Get Position)
- Screenshot anfertigen (Take Screenshot)
- Attribut abwarten (Wait Attribute)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Text anklicken (Click Text)
- Text beim Darauf zeigen (Hover Text)
- Textposition finden (Find Text Position)
- Volltext erhalten (Get Full Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Strukturierte Daten extrahieren (Extract Structured Data)
- Text vorhanden (Text Exists)
- OCR-Text anklicken (Click OCR Text)
- Auf OCR-Text zeigen (Hover OCR Text)
- OCR-Text erhalten (Get OCR Text)
- OCR-Textposition finden (Find OCR Text Position)
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure ComputerVision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- OCR-Text vorhanden (OCR Text Exists)
- Bild anklicken (Click Image)
- Auf Bild zeigen (Hover Image)
- Bildübereinstimmung finden (Find Image Matches)
- Bild vorhanden (Image Exists)
- Bild finden (Find Image)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Bild laden (Load Image)
- Bild speichern (Save Image)
- Browser anhängen (Attach Browser)
- Registerkarte schließen (Close Tab)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- JS-Skript einfügen (Inject JS Script)
- Navigieren zu (Navigate To)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anhängen (Attach Window)
- Fenster schließen (Close Window)
- Aktives Fenster abrufen (Get Active Window)
- Fenster ausblenden (Hide Window)
- Fenster maximieren (Maximize Window)
- Fenster minimieren (Minimize Window)
- Fenster verschieben (Move Window)
- Fenster wiederherstellen (Restore Window)
- Fenster anzeigen (Show Window)
- Export UI Tree
- ActiveX-Methode aufrufen
- .NET-Code einfügen
- Trigger anklicken (Click Trigger)
- Tastendruck-Trigger (Key Press Trigger)
- Bild-Trigger anklicken (Click Image Trigger)
- System-Trigger (System Trigger)
- Hotkey-Trigger (Hotkey Trigger)
- Maus-Trigger (Mouse Trigger)
- Ereignisinfo erhalten (Get Event Info)
- Ereignisse überwachen (Monitor Events)
- Quellelement erhalten (Get Source Element)
- Benutzerereignis wiedergeben (Replay User Event)
- Benutzeingabe blockieren (Block User Input)
- Vordergrund verwenden
- Element Attribute Change Trigger
- Element State Change Trigger
- Textfeld (Callout)
- Ausgewählten Text kopieren (Copy Selected Text)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Auf Zwischenablage setzen (Set To Clipboard)
- Anwendung schließen (Close Application)
- Anwendung öffnen (Open Application)
- Prozess starten (Start Process)
- Passwort erhalten (Get Password)
- Tooltip
- Click Picture on Screen
- Click Toolbar Button
- Read Statusbar
- Select Dates In Calendar
- Select Menu Item
- Expand Tree
- Call Transaction
- SAP Logon
- SAP Login
- Table Cell Scope
- SAP Session Attributes Change Trigger
- Expand ALV Tree
- Expand ALV Hierarchical Table
- Use Application/Browser
- Check App State
- Check/Uncheck
- Klicken (Click)
- Extract Table Data
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Tastenkombinationen
- Navigate Browser
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Attribut erhalten (Get Attribute)
- Get Browser Data
- Set Browser Data
- Mouse Scroll
- Inject Js Script
- Ziehen und Ablegen
- For Each UI Element
- Application event trigger
- Click Event Trigger
- Keypress Event Trigger
- Text einstellen (Set Text)
- Check Element
- Formular ausfüllen
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Ist aktiviert
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Muster zeichnen
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Terminalsitzung (Terminal Session)
- Bildschirmbereich erhalten (Get Screen Area)
- Text an Position erhalten (Get Text at Position)
- Get Color At Position
- Feld an Position erhalten (Get Field at Position)
- Feld an Position setzen (Set Field at Position)
- Warte auf Text an Position (Wait Text at Position)
- Tasten senden (Send Keys)
- Cursor bewegen (Move Cursor)
- Sichere Tasten senden (Send Keys Secure)
- Text erhalten (Get Text)
- Find Text
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Feld erhalten (Get Field)
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Feldtext (Wait Field Text)
- Feld setzen (Set Field)
Laden und Verarbeiten von Bildern
Im folgenden Beispiel wird erklärt, wie ein Text aus einem zuvor geladenen Bild gelesen und abgerufen wird. Es werden Aktivitäten wie Load Image oder Try Catch verwendet. Diese Aktivitäten finden Sie im Paket UiPath.UIAutomation.Activities.
So kann der Automatisierungsprozess erstellt werden:
- Öffnen Sie Studio und erstellen Sie einen neuen Prozess.
-
Ziehen Sie einen Sequence-Container in den Workflow-Designer.
-
Erstellen Sie die folgende Variable:
Variablenname
Variablentyp
Standardwert
image
UiPath.Core.Image
resultedText
String
Hinweis: Die Aktivität Load Image kann nur ein Bild verarbeiten, das zuvor dem Projektordner hinzugefügt wurde. Fügen Sie das Bild hinzu, bevor Sie den Workflow ausführen, oder laden Sie dieses Beispiel herunter und verwenden Sie das Bild, das dem Prozess bereits hinzugefügt wurde.
-
-
Ziehen Sie eine Load Image-Aktivität in den Sequence-Container.
- Fügen Sie im Eigenschaftenbereich den Pfad des Bilds hinzu, das Sie verwenden möchten. In diesem Beispiel ist das
"images\Hello World.png"
. - Fügen Sie die Variable
images
in das Feld Bild ein.
- Fügen Sie im Eigenschaftenbereich den Pfad des Bilds hinzu, das Sie verwenden möchten. In diesem Beispiel ist das
- Setzen Sie eine Try Catch-Aktivität unter die Load Image-Aktivität.
- Ziehen Sie einen Sequence-Container in den Try-Container der Try Catch-Aktivität.
-
Setzen Sie eine OCR-Engine in den Container. In diesem Beispiel wird Tesseract OCR verwendet.
- Fügen Sie im Eigenschaftenbereich die Variable
image
in das Feld Bild ein. - Fügen Sie den Sprachcode
"eng"
in das Feld Sprache ein. - Wählen Sie die Option Keines von der Dropdownliste Profil aus.
- Fügen Sie den Wert
2
in das Feld Skalierung ein. - Fügen Sie die Variable
resultedText
in das Feld Text ein. -
So sollte der Try-Container aussehen:
- Fügen Sie im Eigenschaftenbereich die Variable
-
Ziehen Sie eine Message Box-Aktivität unter die Tesseract OCR-Engine.
- Wählen Sie im Eigenschaftenbereich die Schaltfläche Ok von der Dropdownliste Schaltflächen aus.
- Fügen Sie den Ausdruck
"Resulted text"
in das Feld Untertitel ein. - Fügen Sie den Ausdruck
"The text identified in the image is """ + resultedText + """"
in das Feld Text ein. - Aktivieren Sie das Kontrollkästchen für die Option Oberste. Dadurch wird die „Message Box“ in den Vordergrund gebracht.
-
Ziehen Sie einen Message Box-Container in den Catches-Container der Try Catch-Aktivität.
- Wählen Sie im Panel Eigenschaften die Option Ok aus der Dropdownliste Schaltflächen aus.
- Fügen Sie den Ausdruck
"Image OCR Error"
in das Feld Untertitel ein. - Fügen Sie den Ausdruck
"No text could be identified in the selected image"
in das Feld Text ein. - Aktivieren Sie das Kontrollkästchen für die Option Oberste. Dadurch wird die „Message Box“ in den Vordergrund gebracht.
-
So sollte der Catches-Container aussehen:
- Führen Sie den Prozess aus. Das Bild wird im Workflow geladen und verarbeitet, der Text wird erkannt und extrahiert.